Aux Tuileries, lors des soirées, il se permettra vis-à-vis des dames de la cour impériale, des sorties demeurées fâcheuses et qualifiées par certains de mufleries. «Cette robe est sale; vous n'en changez donc jamais ?» ou encore: «Quelle déception ! Dire que l'on m'avait assuré que vous étiez jolie ! »
Une des victimes au moins osa répliquer, et laissa muet Napoléon. Un soir, avisant la duchesse de Fleury, il lui pose cette question: « Madame, aimez-vous toujours autant les hommes ?»
Celle qui, lorsqu'elle s'appelait Aimée de Coigny, avait inspiré à André Chénier sa Jeune Captive, rétorqua vertement :
«Oui, Sire. Quand ils sont polis. » Napoléon battit alors en retraite sans trouver une réplique.